Reference-Based Bias Detection in LLMs via Relative Representations of Hidden States
基于隐藏状态相对表示的参考式 LLM 偏见检测
🧭 LLM 偏见审计·相对表示
NASK - National Research Institute, Poland · Warsaw University of Technology, Poland · Gdańsk University of Technology, Poland
用隐藏状态与锚点句的相似度构建相对表示，在共享空间中度量微调前后偏见偏移 ΔB
📌 工作参考价值（4 点）
- 可用于业务模型上线前/微调后的低成本偏见回归监控：不依赖输出级标注或裁判模型，直接对 checkpoint 隐藏状态做 ΔB 检测，约 3 分钟完成，适合 CI 流程。
- 在电商推荐/广告文案生成等场景，可借鉴相对表示方法，用固定锚点句集合编码不同群体/属性，快速审计模型对性别、地域、品牌等的隐含关联漂移。
- 对 LoRA/PEFT 微调尤其注意：结果更依赖模型，建议结合输出级评估使用，不要单独作为放行标准。
- 若业务中已有针对敏感群体的句子模板，可将 ΔB 作为模型迭代时的内部指标，与输出 A/B 测试互补，提前拦截高风险检查点。